Pekarangan istana ini meliputi sebanyak 13 ekar (5.3 he)[1] terdiri daripada suatu kubu, kota dan suatu kelompok bandar persemayaman.[2] Persekitaran istana terbina secara berfasa-fasa sehingga tamatnya kerja pemulihan berikutan suatu kebakaran besar yang menimpa istana tersebut pada tahun 1992.[3]

Bangunan ini dibina dengan menggabungkan unsur-unsur seni bina George dan Victoria design didasarkan suatu asas binaan dari Zaman Pertengahan serta ciri-ciri binaan Goth yang dimodenkan.

Pekarangan istana terbahagi kepada tiga bahagian yang utama:

• Middle Ward yang terdiri daripada suatu bukit buatan (motte) berketinggian 50 kaki (15 m) daripada pemadatan batu kapur tergali hasil pemaritan sekeliling tapak binaan. Bukit ini dipuncakkan suatu menara benteng (keep) bernama "The Round Tower" yang dibina pada abad ke-12 sebelum diperbaiki lanjut pada awal abad ke-19 dengan ketinggian sebanyak 30  kaki (9 m) lagi.[4]

• Upper Ward - sebelah timur Middle Ward dan Round Tower menghadap Sungai Thames melalui North Terrace, ia menempatkan tempat persemayaman persendirian kerabat diraja British The State Apartments menampilkan banyak khazanah seni dan harta diraja diperolehi sepanjang zaman raja-ratu Britain.

• Lower Ward, terletak di hadapan dan barat Round Tower, melalui Norman Gate; kawasan ini menemparkan St George's Chapel. Kawasan ini terbina pada zaman Pertengahan sebelum dibaiki rupa seni bina semasa pertengahan zaman Victoria oleh Anthony Salvin dan Edward Blore agar menampakkan penampakan unsur seni Gothik yang berterusan (consistently Gothic composition).[5]

• Menara benteng Round Table dibina Raja Henry II
• Pintu Norman (Norman Gate)
• St. George's Chapel
• Bangunan persemayaman State Apartments di Upper Ward

Seluruh persekitaran kubu istana ini pula dikelilingi kawasan suatu taman awam besar dari abad ke-19 bernama Home Park.[6] Terdapat suatu laluan utama menghala masuk pekarangan istana dipanggil The Long Walk di selatan istana berkepanjangan 2.65 batu (4.26 km)[7] dan selebar 240 kaki (75 meter),[8] laluan dibarisi pokok-pokom berangan dan plane.[9]